Evolution of Accuracy and Visual-Cognitive Errors in a Decade of Vision-Language AI Models
十年间视觉语言模型准确度与视觉认知错误的演进
🧭 多模态视觉语言模型评估与错误分析
University of California, Santa Barbara
引入复杂社会行为数据集，评估十年间VLM场景描述准确度提升，并分析五类错误演变
📌 工作参考价值（4 点）
- 电商商品图描述、用户行为理解等场景可借鉴 CSB 数据集思路，自建包含复杂交互的测试集，系统性评估多模态模型在业务场景下的描述准确度。
- 五种错误类型（目标检测、识别、幻觉、场景理解、空间依赖）可直接作为诊断维度，监控线上多模态模型的输出质量，重点排查高影响的检测/识别/幻觉错误。
- MLLM 在复杂场景已接近人类但仍有空间依赖误差，提示在商品详情理解、直播画面解析等应用中需关注模型是否关注了关键区域，可引入注意力可视化辅助校验。
- 论文揭示了预训练与指令微调阶段模型的性能鸿沟，为业务选型提供依据：复杂视觉理解任务应优先选用 MLLM，并围绕空间依赖等残余误差做针对性优化。